With the continuously thriving popularity around the world, fitness activity analytic has become an emerging research topic in computer vision. While a variety of new tasks and algorithms have been proposed recently, there are growing hunger for data resources involved in high-quality data, fine-grained labels, and diverse environments. In this paper, we present FLAG3D, a large-scale 3D fitness activity dataset with language instruction containing 180K sequences of 60 categories. FLAG3D features the following three aspects: 1) accurate and dense 3D human pose captured from advanced MoCap system to handle the complex activity and large movement, 2) detailed and professional language instruction to describe how to perform a specific activity, 3) versatile video resources from a high-tech MoCap system, rendering software, and cost-effective smartphones in natural environments. Extensive experiments and in-depth analysis show that FLAG3D contributes great research value for various challenges, such as cross-domain human action recognition, dynamic human mesh recovery, and language-guided human action generation. Our dataset and source code will be publicly available at https://andytang15.github.io/FLAG3D.

医学视觉和语言预训练提供了一种可行的解决方案，可以从医学图像和文本中提取有效的视觉和语言表示。但是，很少有研究专门研究该领域，以促进医学视觉和语言理解。在本文中，我们提出了一种自我监督的学习范式，该学习范式使用多模式掩盖的自动编码器（M $^3 $ ae），通过从随机掩盖的图像和文本中重新构造缺失的像素和代币来学习跨模式域知识。有三个关键设计可以使这种简单的方法起作用。首先，考虑到视觉和语言的不同信息密度，我们为输入图像和文本采用不同的掩蔽比，其中将较大的掩模比用于图像。其次，我们使用来自不同层的视觉和文本特征来执行重建，以处理视觉和语言中不同级别的抽象。第三，我们为视觉和语言解码器开发了不同的设计（即，视觉的变压器和语言的多层感知器）。为了进行全面的评估并促进进一步的研究，我们构建了包括三个任务的医学视觉和语言基准。实验结果证明了我们方法的有效性，在所有下游任务上都取得了最新的结果。此外，我们进行进一步的分析，以更好地验证方法的不同组成部分和预训练的各种设置。源代码可在〜\ url {https://github.com/zhjohnchan/m3ae}中获得。

基于卷积的方法在医疗图像分割任务中提供了良好的分割性能。但是，这些方法在处理医学图像的边缘时面临以下挑战：（1）以前的基于卷积的方法不关注分割边缘周围前景和背景之间的边界关系，从而导致分割性能的退化当边缘变化时。 （2）卷积层的电感偏置不能适应复杂的边缘变化和多分段区域的聚合，从而导致其性能改善大部分仅限于分割分段区域而不是边缘的范围。为了应对这些挑战，我们提出了MFI（多尺度特征交互）块和英亩（轴向上下文关系编码器）块上的CM-MLP框架，以精确分割医疗图像的边缘。在MFI块中，我们建议级联多尺度MLP（Cascade MLP）同时从网络的较深层中处理所有局部信息，并利用CASCADE多尺度机制逐渐融合离散的本地信息。然后，英亩块用于使深度监督着眼于探索前景和背景之间的边界关系以修改医疗图像的边缘。我们提议的CM-MLP框架的分割准确性（DICE）达到96.96％，96.76％和82.54％的三个基准数据集：CVC-ClinicDB数据集，Sub-Kvasir Dataset和我们的内部数据集，这些数据集分别超过了。最先进的方法。源代码和训练有素的模型将在https://github.com/programmerhyy/cm-mlp上找到。

长期椎骨骨折严重影响了患者的生活质量，导致脑诊断，腰椎畸形甚至瘫痪。计算机断层扫描（CT）是在早期筛查该疾病的常见临床检查。但是，微弱的放射学表现和非特异性症状导致遗体诊断的高风险。特别是，对于深度学习模型和缺乏经验的医生而言，轻度骨折和正常对照很难区分。在本文中，我们认为增强微弱的断裂特征以鼓励阶层间的可分离性是提高准确性的关键。在此激励的情况下，我们提出了一个基于对比度学习的监督模型，以通过CT扫描估算Genent的椎骨骨折等级。作为一项辅助任务，受监督的对比学习在将其他人推开的同时缩小了同一类中特征的距离，从而增强了模型捕获椎骨骨折的微妙特征的能力。考虑到该领域缺乏数据集，我们构建了一个数据库，其中包括经验丰富的放射科医生注释的208个样本。我们的方法的特异性为99 \％，在二元分类中的敏感性为85％，在多分类中的Macio-F1为77 \％，表明对比度学习显着提高了椎骨骨折筛选的准确性，尤其是在轻度断裂和正常对照。我们的脱敏数据和代码将公开为社区提供。

近年来，几项作品采用了卷积神经网络（CNN）来诊断基于X射线图像或磁共振成像（MRI）的股骨头（AVNFH）的无血管坏死。但是，由于组织重叠，X射线图像很难为早期诊断提供细粒度。另一方面，MRI的成像时间很长，更昂贵，使其在大规模筛查中不切实际。计算机断层扫描（CT）显示了层的组织，图像速度更快，并且比MRI成本较小。但是，据我们所知，对于基于CT的AVNFH诊断没有工作。在这项工作中，我们收集并标记为AVNFH排名的大型数据集。此外，现有的端到端CNN仅产生分类结果，并且很难为诊断医生提供更多信息。为了解决这个问题，我们提出了结构正规化的专注网络（Sranet），该网络能够根据贴剂注意力在分类过程中突出坏死区域。 Sranet提取物在图像块中的特征，通过注意机制获得重量以汇总特征，并通过具有先验知识的结构正常化程序来限制它们以改善概括。 Sranet在我们的AVNFH-CT数据集上进行了评估。实验结果表明，Sranet优于CNN，用于AVNFH分类，此外，它可以定位病变并提供更多信息以帮助医生进行诊断。我们的代码在https://github.com/tomas-lilingfeng/sranet上公开。

具有病理注释的计算机断层扫描（CT）样品很难获得。结果，计算机辅助诊断（CAD）算法在小型数据集（例如带有1,018个样本的LIDC-IDRI）上进行了培训，从而限制了其准确性和可靠性。在过去的五年中，通过二维（2D）和三维（3D）自我监督学习（SSL）算法为CT病变的无监督表示量身定制了几项作品。 2D算法很难捕获3D信息，并且现有的3D算法在计算上很重。轻巧的3D SSL仍然是要探索的边界。在本文中，我们提出了螺旋形对比度学习（SCL），该学习以计算有效的方式产生3D表示。 SCL首先使用信息保护螺旋变换将3D病变转换为2D平面，然后使用2D对比度学习学习转换不变的特征。为了进行增强，我们考虑自然图像增强和医疗图像增强。我们通过在嵌入层上训练分类头来评估SCL。实验结果表明，对于无监督的代表性学习，SCL在LIDC-IDRI（89.72％），LNDB（82.09％）和天奇（90.16％）上实现了最先进的准确性。使用10％的带计算的注释数据，SCL的性能与监督学习算法的性能相当（Lidc-Idri的85.75％比85.03％，78.20％vs. 73.44％的LNDB和87.85％vs. 83.34％vs. 83.34％and。天奇，分别）。同时，与其他3D SSL算法相比，SCL将计算工作减少了66.98％，这证明了该方法在无监督的预训练中的效率。

本文提出了一个改进金字塔变压器（复制器），以进行健壮的面部标志性检测。大多数面部地标探测器都专注于学习代表性图像特征。但是，这些基于CNN的功能表示不足以处理复杂的现实世界情景，因为忽略了地标的内部结构以及地标和环境之间的关系。在这项工作中，我们制定了面部标志性检测任务，作为沿金字塔记忆的提炼里程碑式的查询。具体而言，引入了金字塔变压器头（PTH），以在地标之间建立同源关系，以及地标和跨尺度环境之间的异源关系。此外，动态里程碑改进（DLR）模块旨在将地标回归分解为端到端的细化过程，其中动态聚合的查询被转换为残留坐标预测。对四个面部标志检测基准及其各种子集进行的广泛实验结果表明，我们的框架具有卓越的性能和较高的鲁棒性。

尽管深入学习算法已被深入开发用于计算机辅助结核病诊断（CTD），但它们主要依赖于精心注释的数据集，从而导致了大量时间和资源消耗。弱监督的学习（WSL）利用粗粒标签来完成精细的任务，具有解决此问题的潜力。在本文中，我们首先提出了一个新的大规模结核病（TB）胸部X射线数据集，即结核病胸部X射线属性数据集（TBX-ATT），然后建立一个属性辅助的弱点监督的框架来分类并通过利用属性信息来克服WSL方案中的监督不足来定位结核病。具体而言，首先，TBX-ATT数据集包含2000个X射线图像，其中具有七种用于TB关系推理的属性，这些属性由经验丰富的放射科医生注释。它还包括带有11200 X射线图像的公共TBX11K数据集，以促进弱监督检测。其次，我们利用一个多尺度特征交互模型，用于TB区域分类和属性关系推理检测。在TBX-ATT数据集上评估了所提出的模型，并将作为未来研究的稳固基准。代码和数据将在https://github.com/gangmingzhao/tb-attribute-weak-localization上获得。

本文介绍了Thuee团队的语音识别系统，用于IARPA Open自动语音识别挑战（OpenASR21），并进行了进一步的实验探索。我们在受限和受约束的训练条件下取得了出色的成果。对于受限的训练条件，我们基于标准混合体系结构构建基本ASR系统。为了减轻摄影库（OOV）的问题，我们使用针对OOV和潜在的新单词的素式至phoneme（G2P）技术扩展了发音词典。采用了标准的声学模型结构，例如CNN-TDNN-F和CNN-TDNN-F-A。此外，还应用了多种数据增强技术。对于约束训练条件，我们使用自我监督的学习框架WAV2VEC2.0。我们在公开可用的预训练XLSR-53的基础上使用连接式时间分类（CTC）标准进行各种微调技术。我们发现，在将WAV2VEC2.0预训练的模型应用于基于编码器的CTC/CTC/COATION ASR体系结构时，前端特征提取器在将WAV2VEC2.0预训练的模型应用时起着重要作用。通过将目标语言用作为前端功能提取器使用的CTC模型填充可以实现额外的改进。

放射学报告的印象部分总结了调查结果部分中最突出的观察结果，是放射科医生与医生进行交流的最重要部分。总结发现很耗时，对于缺乏经验的放射科医生可能会出错，因此自动印象产生引起了很大的关注。通过编码器框架，大多数先前的研究都探讨了纳入额外知识（例如，静态预定义的临床本体或额外的背景信息）。然而，他们通过单独的编码器对这种知识进行编码，以将其视为其模型的额外输入，这在利用其与原始发现的关系方面受到限制。为了解决限制，我们提出了一个统一的框架，以综合的方式利用额外的知识和原始发现，以便可以以适当的方式提取关键信息（即关键词及其关系），以促进印象产生。详细说明，对于每个输入发现，它是由文本编码器编码的，并且图形是通过其实体和依赖树构造的。然后，采用图形编码器（例如，图形神经网络（GNNS））在构造的图中模拟关系信息。最后，为了强调调查结果中的关键词，引入了对比度学习以映射正面样本（通过掩盖非钥匙单词构建）更紧密，并将负面的样本推开（通过掩盖关键词构建）。 Openi和Mimic-CXR的实验结果证实了我们提出的方法的有效性。